EVOKE: Eliciting World Knowledge in Agents for Transferable Decision-Making
EVOKE：通过目标多样性引出世界知识以提升 Agent 可迁移决策
🧭 Agent 后训练 · 世界知识引出 ★ 深度解读
Shanghai Jiaotong University · Hong Kong Polytechnic University · Eastern Institute of Technology, Ningbo
固定状态与历史、切换目标并对同一组动作做排序监督，迫使策略调用预训练世界知识做决策，而非依赖单目标习惯
📌 工作参考价值（4 点）
- 在电商/导购 Agent 中，可以对同一页面（商品详情、购物车、结算页）构造多个互斥目标（立即下单、修改地址、比价、取消订单），让策略在相同 state/history 下对同一组候选动作排序；只要不同目标偏好反转，就能强制模型使用动作后果知识，而不是记住单目标下的页面习惯，提升未见过活动页/新商城环境的泛化。
- 用「策略当前高分但被环境反馈判定为不推进目标」的动作作为 hard negative，结合 pairwise + listwise ranking，而不是只对 positive 做 SFT，能显著抑制线上 Agent 的惯常错误动作，减少无效点击和重复访问；电商搜索 Agent 可直接用日志反馈构造这类负样本。
- 训练时用 LLM 标注器对真实执行结果做 grounded 标注（实际执行后的 next page/结果），不把预测状态喂给策略；推理时部署标准 policy，无世界模型/规划模块，适合低延迟线上服务。可以借鉴「标注用执行结果，推理零额外开销」的设计。
- 数据效率高：ALFWorld 上仅用约 9% 的演示步数做多目标排序，unseen success 从 60.4% 拉到 91.8%；用当前策略 rollout 并 DAgger 式多轮聚合 policy-favored negatives，适合在电商仿真器/线上日志中低成本持续迭代。